Trong khi Hội nghị Genève đang tiến hành, thì tại miền Bắc Việt Nam, Hội nghị Trung Giã đã khai sinh từ 1 cuộc họp sơ bộ ngày 29 tháng 5/1954. Hơn 1 tháng sau, hội nghị chính đã khai diễn ngày 4 tháng 7/1954 và bế mạc ngày 27/7/1954.

Tham gia Hội nghị gồm:

• Phái đoàn Quân đội Nhân dân Việt Nam do Văn Tiến Dũng (Thiếu tướng) làm trưởng đoàn, Lê Linh, Lê Quang Đạo (Đại tá), Song Hào, Nguyễn Văn Lung (Trung tá), thông dịch viên tên Lê (thiếu tá).
• Phái đoàn Pháp do Đại tá Lennuyeux làm trưởng đoàn, Trung tá Le Roy, Thiếu tá Le Flahec, Sanani, Sacquin và Đại uý Lohmann thông dịch viên. Phái đoàn Quốc gia Việt Nam đi cùng phái đoàn Pháp gồm có Trung tá Trang Văn Chính (trưởng phái đoàn), sau đó Trung tá Lâm Ngọc Huấn thay thế, Thiếu tá Nguyễn Phước Đàng, Đại úy Nguyễn Bửu, sau thay thế bởi Đại úy Trần Ngọc Huyến.

Hội viên chính thức của Hội nghị là 2 đoàn Pháp và Quân đội Nhân dân Việt Nam (đại diện cho bên Việt Nam Dân chủ Cộng hòa). Đại diện của Quân đội Quốc gia Việt Nam chỉ là bộ phận thứ yếu bên cạnh phái đoàn Pháp và theo giao kết thì chỉ có các trưởng phái đoàn Pháp và Quân đội Nhân dân Việt Nam phát biểu ý kiến. Mọi vấn đề đem ra thảo luận để quyết định với Việt Minh hoàn toàn do Pháp đưa ra, phái đoàn Quốc gia Việt Nam chỉ được thông báo sau đó. Trong các buổi họp thu hẹp, chỉ có các trưởng phái đoàn Pháp và Việt Nam Dân chủ Cộng hòa tham dự, đại biểu của Quốc gia Việt Nam không được mời dù họ có tư cách quan sát viên. Tại hội nghị chỉ treo 2 lá cờ Pháp và cờ Việt Nam Dân chủ Cộng hòa. Trong khi Pháp có thái độ vội vã trong buổi họp, thì Việt Nam Dân chủ Cộng hòa lại tỏ ra ung dung thong thả để tạo thêm lợi thế khi thảo luận.

Theo Thiếu tướng Văn Tiến Dũng (sau này là Đại tướng) cho biết Chủ tịch Hồ Chí Minh căn dặn đoàn trước khi lên đường: "Ta đàm phán với Pháp lần này trong tư thế người chiến thắng; phải vững vàng về nguyên tắc, nhưng linh hoạt về sách lược". Khi chiếc xe jeep của Thiếu tướng Văn Tiến Dũng với hàng chữ "Xe của tướng De Castries, chiến lợi phẩm Ðiện Biên Phủ" đến địa điểm đàm phán đã nhận được sự quan tâm to lớn của giới báo chí. Khu vực Hội nghị trên đồi của thôn Xuân Sơn gồm một hội trường do quân đội Pháp dựng bằng khung thép mái lợp tôn, có đèn điện, quạt điện và bàn ghế. Khu nhà của phái đoàn Việt Nam Dân chủ Cộng hòa bằng tre, nứa, mái lợp lá gồi khá thoáng mát. Tại phiên khai mạc, Thiếu tướng Văn Tiến Dũng tuyên bố: "Cuộc gặp nhau tại chỗ là một việc có ích và cần thiết nếu hai bên đều thực tâm muốn bàn bạc những phương pháp cụ thể để nhanh chóng chấm dứt chiến tranh. Những cuộc thảo luận tại chỗ bao giờ cũng dễ thiết thực và cụ thể hơn".

Hội nghị Trung Giã đã thỏa thuận và quyết định "đại diện các Bộ Tư lệnh tối cao hai bên phải gặp nhau tại Genève và các cuộc tiếp xúc cũng phải được thực hiện tại chỗ. Quyết định này cũng định rõ vai trò của các đại diện Bộ Tư lệnh tối cao phải nghiên cứu tình trạng quân sự để thiết lập ngay sau khi đình chiến các dữ kiện đình chỉ mọi hoạt động chiến đấu. Hội nghị tại chỗ phải thông báo càng sớm càng tốt cho Hội nghị tại Genève các kết quả rút tiả được cùng những đề nghị của họ."

Lúc trước khi vào họp, phái đoàn Pháp đề nghị treo cả cờ của chính quyền Bảo Đại và ba cờ treo ngang nhau nhưng phái đoàn Việt Nam Dân chủ Cộng hòa bác bỏ. Tuy nhiên, Hồ Chí Minh chỉ đạo chấp nhận phương án nhượng bộ của Pháp là vẫn treo ba cờ nhưng cờ của chính quyền Bảo Đại được treo thấp hơn và bé hơn. Theo đó, trên các phương tiện đi lại sẽ có hai cột cờ, cột thứ nhất là cờ của Việt Nam Dân chủ Cộng hòa, cột thứ hai là cờ Pháp và cờ của chính quyền Bảo Đại nhưng cờ của Pháp treo ở trên, cờ Bảo Đại treo ở dưới. Phía Pháp chấp nhận phương án này. Tuy nhiên, lúc triển khai trong thực tế, phía chính quyền Bảo Đại bị dư luận chỉ trích mạnh mẽ là "bù nhìn" của Pháp khiến cho Pháp đề nghị treo lại cờ. Phía Việt Nam Dân chủ Cộng hòa phản đối vì đó chính là phương án do Pháp đưa ra. Cuối cùng phía Pháp nhượng bộ là chỉ treo hai cờ gồm cờ Pháp và cờ Việt Nam Dân chủ Cộng hòa.

Tại phiên họp thứ hai chiều 4-7, hai đoàn đàm phán Việt Nam Dân chủ Cộng hòa và Pháp thỏa thuận nhiệm vụ và nội dung Hội nghị là:

• Những đề nghị về tất cả các vấn đề quân sự do Hội nghị Genève đặt ra; bàn và quyết định biện pháp thực hiện những vấn đề quân sự mà Hội nghị Genève thỏa thuận;
• Những vấn đề quân sự khác do tình hình cụ thể tại chỗ đặt ra.
• Vấn đề tù binh trong phạm vi những điều Hội nghị Genève đã quyết định, bao gồm: Trao đổi tù binh ốm và bị thương, cải thiện sinh hoạt của tù binh, trao đổi thư từ của tù binh, gửi thuốc men cho tù binh; vấn đề thực hiện ngừng bắn; vấn đề điều chỉnh khu vực tập kết quân đội hai bên; vấn đề Ủy ban Liên hợp; các vấn đề do Hội nghị Ủy ban quân sự Genève đề ra hoặc Hội nghị quân sự Trung Giã thấy cần thiết đề ra.

Từ ngày 5-7-1954, hai bên Việt - Pháp bàn ngay vấn đề mà phía Pháp rất quan tâm, muốn giải quyết sớm là vấn đề trao trả tù binh bị ốm, bị thương và cải thiện đời sống vật chất, tinh thần cho tù binh. Có rất nhiều điều khoản cụ thể, tỉ mỉ đã được thảo luận như chế độ ăn, chế độ đặc biệt, chỗ ở, vệ sinh chung và cá nhân, chế độ làm việc, cách đối xử, giải trí và đọc sách, báo, săn sóc tù binh bị ốm, cách gửi thuốc, gửi thư, bưu kiện cho tù binh.

Ngày 10-7-1954, hai bên đã ký được Biên bản chung về các vấn đề trên, họp báo công bố ngay. Tuy nhiên, có một điểm phía Pháp không chịu bàn vấn đề do Việt Nam nêu ra là phía Pháp "không được dùng vào các hoạt động quân sự những người Việt Nam tham gia kháng chiến bị lực lượng Pháp bắt hoặc giam giữ". Vịêt Nam đòi phía Pháp trả lời về vấn đề này ngay trong Hội nghị quân sự Trung Giã.

Từ ngày 12-7-1954, Hội nghị bắt đầu thảo luận vấn đề ngừng bắn. Từ ngày 12-19/7, hai bên tiến hành các hoạt động thăm dò ý đồ của nhau. Chiều ngày 19-7-1954, phái đoàn Việt Nam Dân chủ Cộng hòa chính thức được thông báo về giải pháp lấy vỹ tuyến 17 làm giới tuyến quân sự tạm thời. Ngày 20-7-1954, Hiệp định đình chỉ chiến sự ở Ðông Dương được ký kết ở Genève. Hai bên đã ký được Quyết định chung ngày 22-7-1954 về hạn chế hoạt động quân sự từ ngày 22-7-1954 đến ngày ngừng bắn thật sự ở các chiến trường. Hai bên cam kết không mở những cuộc hành quân quy mô, quân Pháp đình chỉ ném bom, bắn phá, dùng bom napalm.

Hội nghị quân sự tại chỗ là hội nghị quân sự địa phương (tức là Hội nghị Trung Giã) có nhiệm vụ phối hợp chặt chẽ với các phái đoàn tại Hội nghị Genève. Trong hơn 3 tuần, từ 4/7 đến 27/7/1954, Hội nghị Trung Giã đã thảo luận các vấn đề tù binh, ngưng bắn, và thiết lập các tiểu ban hỗn hợp về tù binh, tiểu ban nghiên cứu thủ tục thi hành ngưng bắn và các tiểu ban hỗn hợp lãnh thổ. Cuối cùng có những thỏa hiệp được ký kết nhằm "làm cho các đơn vị đối lập cách biệt nhau ra, trở về các căn cứ, hoặc tập trung ở những địa điểm trú quân tạm thời cốt để tránh mọi giao tiếp có thể gây ra xung đột giữa hai bên."

Cuộc thảo luận về ngừng bắn ở Hội nghị quân sự Trung Giã cũng khá phức tạp. Vì chiến tranh của Pháp tại Việt Nam không phải là cuộc đối đầu giữa hai đội quân chính quy có trận tuyến rõ ràng mà ở thế cài răng lược. ho nên "Hiệp nghị về nguyên tắc chung gỡ thế cài răng lược" do hai trưởng đoàn ký ở Trung Giã ngày 25-7-1954 phải mở đầu bằng một định nghĩa: "Gỡ thế cài răng lược là một hành động đầu tiên để phân chia quân đội đôi bên, làm cho các đơn vị đối lập giãn ra, trở về các căn cứ của mình hoặc tập trung ở những địa điểm trú quân tạm thời đầu tiên, cốt để tránh mọi sự tiếp xúc có thể gây xung đột đôi bên". Hai bên chỉ có một cuộc tranh luận gay go trước khi đi tới Hiệp nghị là phía Pháp muốn các lực lượng phi chính quy của Việt Nam phải rút ngay khỏi vùng họ tập kết tạm thời. Cuối cùng hai bên nhất trí là các lực lượng phi chính quy ngừng bắn tại chỗ, tiếp tục làm ăn theo nghề nghiệp của mình không mang theo vũ khí.

Ðoàn Việt Nam ở Trung Giã yêu cầu Pháp giúp máy bay chở ba đoàn sĩ quan Việt Nam đi truyền đạt mệnh lệnh ngừng bắn cho ba chiến trường Bình Trị Thiên, Liên khu 5 và Nam Bộ, đồng thời giúp các chiến trường tổ chức các Ủy ban Liên hợp chiến trường. Ngày 27-7-1954, ba đoàn sĩ quan Vịêt Nam rời sân bay Gia Lâm đến các chiến trường. Phía Pháp còn dùng máy bay chở các sĩ quan ta đi rải Thư hiệu triệu của Hồ Chủ tịch, Nhật lệnh và Lệnh ngừng bắn của Bộ Tổng tư lệnh ta xuống các vùng xa xôi, hẻo lánh ở Liên khu 5 và Nam Bộ. Bắc Bộ đã hoàn toàn ngừng tiếng súng.

Ngày 27-7-1954, Hội nghị quân sự Trung Giã kết thúc công việc, chuyển thành Ủy ban Liên hợp Trung ương là cơ quan thi hành Hiệp định Genève. Có thể nói, Hội nghị Trung Giã là nơi bàn cách thực hiện ngừng bắn và chính sách đối với tù binh, kiến nghị những vấn đề liên quan gửi đến Hội nghị Genève và đặc biệt đã chuẩn bị tốt những điều kiện cần thiết để thực hiện ngừng bắn đúng ngày giờ như Hiệp định Genève đã quy định và tạo cơ sở thuận lợi cho hoạt động của Ủy ban Liên hợp Trung ương.[44]